Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains
$ \gamma(t) = (\sin(2^0t\pi), \cos(2^0t\pi), \cdots, \sin(2^Lt\pi), \cos(2^Lt\pi))
低周波数成分→高周波数成分への写像関数の学習
例えば(b)の場合, (x,y) の座標値からRGBを復元するMLP
https://gyazo.com/9988a81fa86084c344318dde32561995
https://gyazo.com/3853c3c712eb495b4f3b60b77192c1f7
MLPの学習過程では, NTKカーネルの固有値が急速に減少する(らしい) NTKカーネルの重要な性質として, 固有値の大きな固有ベクトルに対応する目的関数の要素は学習が速い(らしい) なので, 固有値が減少→学習速度が低下→高周波数成分は学習されにくい
という具合らしい (...???????)
https://gyazo.com/e028614becf98dcef64070108eae6108
この形なら大抵なんでも良いらしい
https://gyazo.com/11809b2760ec5ad9b2c93fa32c50ce79
本論文では, Bを 正規分布から無作為に選んでいる $ B ~$ \mathcal{N}[0,\sigma^2\rbrack 重要なのは, どの程度のバンド幅なのかが重要
バンド幅が広いほど, 高周波数成分を学習しやすくなる (その代わり学習速度が落ちる)
バンド幅について
バンド幅が狭すぎると低周波成分のみしか得られず
広すぎると高周波数成分としてノイズが付与されてしまう
https://gyazo.com/9b3f90510830937c46496ff73e26c69f